#!/bin/bash

function usage() {
    echo "数据文件不存在"
    echo "请输入: ./start_4.sh your_data_file"
}
data_file="data/data.csv"
# 使用自定义数据文件
if [ $# -ge 1 ]; then
    data_file=$1
    exit 1
fi
# 检查文件是否存在
if [ -f "$data_file" ]; then
    echo "使用数据文件: $data_file"
else
    usage
    exit 1
fi

# 1.创建flume工作目录
rm -rf  /home/hadoop/jingdong || true
sleep 3
mkdir -p /home/hadoop/jingdong/data
mkdir -p /home/hadoop/jingdong/tmp/point
sleep 3

# 2.拷贝原始数据到flume工作目录
cp $data_file /home/hadoop/jingdong/data/
sleep 3

# 3.移除之前的hive数据
hdfs dfs -rm -r -f -skipTrash /user/hive/warehouse/jingdong*
sleep 3
log_file="flume.log"
rm -f $log_file
sleep 3
# 4.启动flume将数据导入hive
JAVA_OPTS="-XX:+UseG1GC -Xms2048m -Xmx4096m -Dflume.hadoop.logger=INFO,console"
nohup flume-ng agent --conf conf --conf-file ./conf/file_hive.properties -name agent3 $JAVA_OPTS > $log_file 2>&1 &
tail -f $log_file
